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Использование инструментов интеллектуального анализа данных и машинного обучения становится все более 
распространенным явлением. Их полезность особенно заметна в случае больших наборов данных, когда 
информация, которую необходимо найти, или новые взаимосвязи извлекаются из информационного шума. 
Развитие этих инструментов означает, что исследуются наборы данных с гораздо меньшим количеством 
записей, обычно связанных с конкретными явлениями. Такая специфика чаще всего приводит к невозможности 
увеличения количества случаев, а это может облегчить поиск зависимостей в изучаемых явлениях. В статье 
рассмотрены особенности применения выбранных инструментов к небольшим наборам данных. Предприняты 
попытки представить методы подготовки данных, методы расчета производительности инструментов с учетом 
специфики баз данных с небольшим количеством записей. Предложены избранные автором методики, которые 
помогли выйти из тупика в расчетах, т. е. получить результаты, намного хуже ожидаемых. Необходимость 
применения методов повышения точности прогнозов и точности классификации была вызвана небольшим 
количеством анализируемых данных. Эта статья не является обзором популярных методов машинного 
обучения и интеллектуального анализа данных, тем не менее собранный и представленный материал поможет 
читателю сократить путь к Получению удовлетворительных результатов при применении описанных 
вычислительных методов. 
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Введение. В эпоху всеобщего доступа в Интернет все больше и больше устройств взаимодействуют 
друг с другом или с централизованными базами данных. Рекламодатели превосходят друг друга в 
эффективности персонализированной рекламы. Все это заставляет бурно развиваться группу инструментов, 
известную как искусственный интеллект. Объем данных, который необходимо обработать, чтобы получить 
нужную информацию, огромен, поэтому количество публикаций по алгоритмам, позволяющим быстро 
извлекать информацию из информационного шума, очень велико. Наиболее часто при этом приходится 
сталкиваться с информационной перегрузкой. Ученые из разных областей знаний знакомы с проблемами, 
связанными с анализом данных. Нередко сбор данных об изучаемых явлениях требует дорогостоящих 
устройств, установок и испытаний. Само исследование также может быть длительным. Это означает, что в 
научно-исследовательских базах данных о причинах и следствиях анализируемых явлений часто может 
содержаться всего несколько десятков или несколько сотен записей. Преимущества инструментов машинного 
обучения и интеллектуального анализа данных, в т. ч. возможности поиска значительных зависимостей между 
многомерными входными и выходными данными, дают возможность исследователям использовать эти 
инструменты для определения ранее не обнаруженных взаимосвязей изучаемых процессов и явлений. 
Недостаточное количество записей в созданной базе данных, описывающих какое-либо явление, может снизить 
ценность полученных результатов анализа. В статье представлены разработки автора, в которых инструменты 
машинного обучения и интеллектуального анализа данных использовались для исследования материалов и 
анализа процессов, когда количество входных данных было большим по сравнению с количеством 
выполненных тестов (т. е. записей в базе данных). Собранные примеры приложений были расширены за счет 
включения методов подготовки данных и методов оценки точности прогнозов и классификации, чтобы 
облегчить работу и помочь быстрее достичь ожидаемых результатов людям, которые намерены использовать 
инструменты машинного обучения для анализа собственных исследований. 

Анализ явлений, описываемых многими переменными. Перед любым исследователем непременно 
встают вопросы: какие входные значения принимать для анализа как влияющие на изучаемое явление, а какие 
параметры измерять на выходе. Очень полезен бывает статистический подход в исследовании, но он имеет 
существенный недостаток, который состоит в том, что можно анализировать только одну пару функций. При 
этом стоит, конечно, определиться, что такое статистика. Согласно [1], «Статистика — это наука о методах 
проведения статистического обследования и методах анализа его результатов». Предметом же статистического 
обследования являются отдельный набор объектов, который называется — статистическим 
сообществом (населением), или несколько статистических сообществ. Статистику можно разделить на три 
основные части: описательная статистика, распределение случайных величин и статистический 
вывод (рис. 1) [2]. 














Статистика | 
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Рис. 1. Статистические управления [2] 
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В случае, когда на результат процесса влияет множество переменных, с помощью статистических 
методов очень сложно найти такие комбинации значений входных переменных, которые существенно влияют 
на изменчивость выходных данных. И самое востребованное — как эффективно управлять процессом или 
явлением, чтобы на выходе получить желаемый результат. С помощью инструментов интеллектуального 
анализа данных гораздо проще найти взаимосвязи между многомерными входными и выходными данными. 
Интеллектуальный анализ данных очень точно определяется самим названием книги [3], которое можно 
перевести как «Обнаружение знаний из данных». Существует определение интеллектуального анализа данных, 
сформулированное в 2001 году как анализ (часто огромных) наборов данных наблюдений с целью обнаружения 
неожиданных взаимосвязей и обобщения данных оригинальным способом, чтобы они были понятны и полезны 
своему владельцу [4—5]. Для этих нужд разрабатываются методы и алгоритмы, благодаря которым поиск 
вышеупомянутых соединений происходит быстрее и эффективнее. Методы интеллектуального анализа данных 
можно разделить на: 

— обнаружение ассоциаций (правила ассоциации); 

— классификация и прогнозирование; 

— группировка; 

— анализ последовательности и времени; 

— обнаружение характеристик; 

— интеллектуальный анализ текстовых и полуструктурных данных; 

— изучение контента, размещенного в Интернете; 

— изучение графиков и социальных сетей; 

— интеллектуальный анализ мультимедийных и пространственных данных; 

— обнаружение особенности [6]. 

На этой основе были разработаны методы, обычно называемые искусственным интеллектом, благодаря 
которым выполняются наиболее часто выбираемые задачи интеллектуального анализа данных. Несмотря на 
развитие информационных технологий и возрастающую вычислительную мощность компьютеров, до сих пор 
практически невозможно проверить все возможные комбинации многомерного ввода и вывода сложной 
системы [7]. Использование методов искусственного интеллекта тем более оправдано, чем сложнее проблема и 
не известны механизмы, управляющие ею, как показано на рис. 2. 
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Рис. 2. Предлагаемые условия использования методов искусственного интеллекта [7] 


Существует множество методов и приемов искусственного интеллекта (включая искусственные 
нейронные сети, метод К-ближайших соседей, случайный лес, деревья решений), и они все еще 
разрабатываются‘. Популярность, которую можно прочесть как полезность приложений одного из 


инструментов искусственного интеллекта — искусственных нейронных сетей очень заметна, например, на 
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основе [8]. Вместо строгого поиска возможных комбинаций используется метаэвристика. Если необходимо 
использовать вышеупомянутые инструменты, следует решить, пользоваться ли специализированным 
программным обеспечением или создать его самостоятельно с помощью общедоступных модулей (так 
называемых «движков»), реализующих алгоритмы искусственного интеллекта. Независимо от принятого 
решения в основе будут лежать данные, которые будут анализироваться. 

Подготовка данных. Можно выделить следующие этапы подготовки данных к анализу: 

— очистка данных; 

— интеграция данных; 

— выбор данных; 

— консолидация и преобразование данных [6]. 

Такая подготовка должна выполняться независимо от размера базы данных. Для небольших наборов 
данных их правильная подготовка даже более важна, чем для больших. Примером может служить сравнение 
двух наборов данных: один с 10000 записей, а другой со 100 записями, где 5 % записей относятся к 
повторяющемуся явлению (повторяемость еще не обнаружена). Когда две записи содержат ошибочные данные, 
то в первом случае можно найти повторяемость в 4,8 % случаев вместо 5,0 %. Во втором случае повторяемость 
обнаруживается только в 3,0 %. Разница существенная. 

Очистка и интеграция данных. При очистке данных из базы удаляются в основном записи, 
содержащие неполные данные. В больших базах данных удаление, например, двух записей существенно не 
повлияет на результаты, полученные на последующих этапах. При небольшом количестве наборов данных 
потеря даже одной записи может существенно повлиять на полученные результаты анализа. По этой причине 
отсутствующие значения не могут быть заменены, например, средним для всей генеральной совокупности 
(один из методов увеличения данных) или ее части (аналогичной описанию в записи, которую следует удалить), 
как это делается для больших баз данных Причина та же, что и описана выше — замена одного 
отсутствующего признака в описании явления может существенно изменить результаты, если анализируется 
небольшой набор данных. Однако записи, удаленные в процессе, не должны удаляться безвозвратно. На 
последующих этапах может оказаться, что в окончательно принятой модели данная особенность не будет 
учтена, а изначально удаленная запись будет содержать полные данные — это будет полезно для анализа. 

Второй важный этап очистки данных — это статистический анализ каждой характеристики (столбцов в 
базе данных) отдельно и ее корреляция с выходными данными. Рекомендуется представлять статистику 


основных характеристик анализируемого процесса (количество записей, среднее арифметическое, медиана, 
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Рис. 3. Пример диаграммы типа «кадр-усы» [9] 
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На таком графике легко прочитать, например, что для 50 % образцов с 21,9-25,0 % содержания глины с 
пылью прочность была выше 9 МПа, но при этом минимальная прочность для этого типа образцов была ниже 
2 МПа. Для таких образцов прочность была ниже 6,5 МПа. Анализ базовой статистики может облегчить 
решение об исключении из анализа записей (т. е. образцов или исследуемых явлений), для которых измеренные 
значения несовместимы со всеми другими случаями. Значительное несоответствие может быть результатом 
ошибочного измерения или того факта, что на измерение повлиял другой фактор, который вообще не 
принимался во внимание (он не учитывался и не измерялся ни в одном из случаев). По этим причинам все 
записи, отклоненные из базы данных, должны быть описаны, а также должны быть указаны причины 
отклонения [10]. 

Другой случай. Если обнаружено, к примеру, что решение об отклонении записи может быть принято 
только после того, как будут выполнены все или часть вычислений. Об этом идет речь в статье [11]: на основе 
наборов из 95 ускорений (а) стандартизированного молота (ударяющего по испытуемому стальному элементу), 
измеряемых каждые 0,01 мс с использованием искусственных нейронных сетей, была предпринята попытка 


отнести испытываемый стальной элемент к одному из девяти классов (рис. 4, 5). 
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Рис. 4. 95 ускорений молота для 67 испытаний стали [11] 


Анализируя ускорения на рис. 4, можно сказать, что один из тестов во временном диапазоне от 0,01 до 
0,31 мс отстает от других, но по-прежнему ведет себя как другие образцы. Только предварительная 
классификация по четырем группам марок стали показала, что через 0,31 мс в испытании № 29 были получены 
результаты, которые показывают резко отклоняющийся характер результатов также через 0,31 мс (рис. 5). В 
испытании №29 был исследован стальной образец, для которого во всех других испытаниях ускорение 
изменило знак с отрицательного на положительный между 0,424 и 0,450 мс. Для испытания №29 знак 
ускорения изменился в пределах 0,460-0,495 мс, то есть за время, подходящее для другой группы марок стали. 
Только этот вывод позволил достаточно хорошо обосновать отклонение из анализов испытания № 29. В 
результате была повышена первоначально полученная точность классификации до девяти марок стали по 
результатам 67 испытаний, равная 80 %, до 95 % (после отказа от теста №29 и повторного использования 


искусственных нейронных сетей). 
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Рис. 5. Фрагмент диаграммы с рис. 4 с предварительной классификацией на четыре группы классов сталей и 
выпадающим тестом № 29 также через 0,31 мс [11] 


Интеграция данных — это объединение данных об одном и том же явлении из разных источников в 
одну базу данных. Пример интеграции содержится в работе [12], в которой прогнозируется задержка 
строительства участков скоростных и автомагистралей в Польше. Независимыми переменными, на основании 
которых делались прогнозы, являются данные о построенных объектах (предусмотренных законом о доступе к 
информации главного управления национальных дорог и автомагистралей), данные о предприятиях, 
реализующих эти объекты (собранные в регистрационный суд), Интернет, агентство бизнес-аналитики, 
макроэкономические данные (с источником в публикациях центрального статистического управления). 
Значение зависимой переменной (необходимое для «обучения» искусственной нейронной сети) — количество 
дней, на которое откладывается завершение каждой из проанализированных дорожных инвестиций, искали в 
публикациях в прессе и в Интернете. Собранная информация была использована для интеграции в базу данных 
о реализации 128 строительных проектов. В Польше в 2009-2013 годах было построено 156 участков 
скоростных и автомагистралей, но получить полную информацию о них было практически невозможно. После 
анализа хода этого строительства были отклонены и те случаи, когда возникали неожиданные нарушения 
(например, в виде протестов экологов, которые не учитывались в анализах как независимая переменная). Это 
уменьшило количество дел на 28, но обеспечило полноту, целостность базы данных — основы расчета. 

Выбор данных. В больших наборах данных их размер является существенной проблемой — большое 
количество записей приводит к неэффективной и длительной работе программного обеспечения. В базах 
данных с небольшими размерами записей программному обеспечению поиска отношений ввода-вывода может 
быть недостаточно, чтобы найти эти отношения. Бывает, что изучаемое явление можно описать многими 
параметрами, но в базе данных мало случаев (записей) с описанными параметрами явления. Таким образом, 
выбор данных означает необходимость выбора лишь нескольких независимых переменных, на основе которых 
будут выполняться классификация или прогнозирование выходного значения с использованием искусственного 
интеллекта (также известного как машинное обучение). При выборе независимых переменных может оказаться 
полезным следующее: 

— изучение взаимной корреляции линейных независимых переменных, а также корреляции со 
значениями на выходе; 

— анализ основных компонентов; 

— эмпирический поиск оптимального набора независимых переменных. 

Корреляционное исследование. Исследование линейной корреляции Пирсона между парами 
независимых переменных и между каждой из них и зависимой переменной может быть представлено в форме 
таблицы с числами, а также графически, в виде так называемых «тепловых карт» (пары независимых 
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переменных) [13]. Переменные наиболее сильно коррелируют положительно, а интенсивный синий цвет на 
рис.6 демонстрирует наименьшее значение коэффициента Пирсона. Сильная положительная или 
отрицательная корреляция, считанная с тепловой карты, не обязывает удалять переменную, сильно 
коррелированную с другой, это всего лишь предположение, потому что она сильно положительно коррелирует 
с 712 (коэффициент корреляции между ними составляет 0,88), и в то же время 715 не коррелирует с выходом 
(обозначено как \у, коэффициент корреляции равен 0,03). 
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Рис. 6. Примерная «тепловая карта» независимых переменных от 01 до 15 и выходных данных 


Хотя вычисляется линейная корреляция, и фактическая связь между независимыми переменными (или 
независимой переменной и переменной, зависящей от выпуска) может быть не линейной, вычисление этих 
линейных корреляций часто подсказывает, какие переменные не включать (если есть необходимость их 
уменьшения). Такая проверка была сделана среди прочего в работах [9, 12]. В [12] количество зависимых 
переменных было сокращено, а в [9] для анализа была принята новая переменная как сумма значений двух 
сильно положительно коррелированных независимых переменных (это также было технически оправданно). 
Переменная, которая имеет сильную отрицательную корреляцию с другой независимой переменной, также 
может быть удалена из базы данных. 

Анализ главных компонентов. Анализ главных компонент (РСА) выполняется для независимых 
переменных — выходное значение не учитывается” В результате получаем рейтинг, показывающий, какая из 
независимых переменных больше всего влияет на изменчивость наборов независимых переменных. Можно 
представить, что каждая из независимых переменных осуществляет измерение многомерного пространства. 
Независимые переменные связаны между собой, они образуют множества (записи в базе данных, описывающие 
явление). Результатом РСА является ответ на вопрос, какая из независимых переменных наиболее ответственна 
за то, что расстояния (в многомерном пространстве) между точками (наборы независимых переменных, 
описанные в записях — координаты точек) являются наибольшими. Переменные, оказывающие наименьшее 
влияние на разброс данных, это те, которые могут быть удалены из анализа в попытке уменьшить количество 
независимых переменных. Примеры эффективного применения анализа главных компонентов для повышения 
производительности инструментов машинного обучения можно легко найти, например, в работах [14—16]. 
Однако стоит иметь в виду, что РСА не принимает во внимание значение зависимой переменной. 
Следовательно, нет уверенности в том, что именно независимая переменная, которая также оказывает 
наибольшее влияние на прогнозируемое значение (зависимая переменная), вызывает наибольшую 
изменчивость в наборах данных. 

Эмпирические исследования. И корреляционное исследование, и анализ главных компонентов не 
дают абсолютной уверенности в том, был ли выбор независимых переменных оптимальным. Оптимальный — 
это значит наиболее точный прогноз или максимально возможная доля точных классификаций для базы данных 
и выбранного инструмента машинного обучения. Инструменты искусственного интеллекта чаще всего 
применяются, когда их пользователь подозревает, что существует связь между вводом и выводом (между 
наборами независимых переменных и эффектом их совместного появления — зависимой переменной). Когда 
эти зависимости невозможно описать строго (функцией многих переменных), когда изучаемые процессы и 


2 ЗцаЗой. Ниегпею\у Родгестийк ЗфаузЕук1. ОВГ: ВИрз://\ллу. базой. рехфооК/за поте. (ассеззе4 10.07.2020). 





Хуберт Аныш. Применение инструментов машинного обучения и интеллектуальный анализ данных в отношении баз данных 





явления сложны (рис. 2), то использование инструментов машинного обучения может оказаться единственным 
способом, чтобы узнать об этом. Поэтому трудно ожидать, что какой-либо вспомогательный инструмент точно 
укажет, какие из зависимых переменных следует использовать для «обучения» искусственного интеллекта. 
Следовательно, одним из методов поиска оптимального набора входных данных (зависимых переменных) 
является эмпирическая проверка результатов инструмента искусственного интеллекта на различных наборах 
зависимых переменных. Есть два основных способа действия: вперед и назад. Вперед — это означает выбор 
двух зависимых переменных, на основе которых результаты прогноза или классификации являются 
наилучшими. Выбрать первый порой очень просто, сложно представить прогноз задержек без указания 
планируемой продолжительности [12, 17]. Чтобы выбрать вторую переменную, проверяем работу инструмента 
на каждой созданной паре зависимых переменных (их иногда называют предикторами) [18]. Когда выбрана 
лучшая пара предикторов, один из оставшихся предикторов добавляется последовательно. Это делается до тех 
пор, пока добавление какой-либо еще не использованной независимой переменной не улучшит результаты. В 
обратной процедуре первым шагом является использование всех независимых переменных, а затем 
последовательное удаление только одной, проверка того, какой предиктор был удален, точность прогноза и 
классификации увеличилась больше всего. Процедура продолжается до тех пор, пока удаление любого из 
предикторов не приведет к улучшению результатов. 

Консолидация и преобразование данных. Консолидация и преобразование данных состоит в том, 
чтобы они могли использоваться выбранным инструментом интеллектуального анализа данных [6]. Наиболее 
распространенной формой преобразования данных является их стандартизация, то есть такое преобразование 
значений независимых переменных и зависимой переменной, при котором они принимают значения из одного 
и того же диапазона. Стандартизация данных является результатом необходимости предоставить каждой из 
независимых переменных «равные условия для игры», которые будут включены в модель машинного обучения. 
В [12] дана формула: 


Чак а " 


где К — количество записей в базе данных; 

ао; — 1-й элемент переменной а до стандартизации; 

ал; — [-й элемент переменной а после стандартизации. 

Второй широко используемый тип стандартизации данных — это так называемая стандартизация «к 
нулевому среднему значению и стандартному отклонению единицы», определяемая следующей формулой: 


ао:—@0 
а: =9Е (2) 


где ау — среднее арифметическое значение переменной а до стандартизации; 

ао: — 1-й элемент переменной а до стандартизации; 

ал; — 1-й элемент переменной а после стандартизации; 

боа — стандартное отклонение переменной а до стандартизации [7]. 

Другие типы стандартизации, также нелинейные, можно найти, например, в [19]. Однако следует 
помнить, что тип стандартизации данных может изменить результаты, полученные с помощью машинного 
обучения [20]. Таким образом, тип стандартизации данных может быть одним из параметров, которые 
инструмент настраивает для получения наилучших результатов. 

Бинаризация может быть вторым процессом преобразования данных. Она означает преобразование 
числовых значений переменной только в два значения (например, 0 и 1) по следующей формуле [22]: 

_ (@;<р>0 
- в >р>1 © 
где ао; — 1-й элемент переменной а до бинаризации, 

ал; — 1-й элемент переменной а после бинаризации, 

р — параметр, выбранный пользователем. 

Бинаризация данных особенно полезна при поиске правил с использованием анализа корзины (также 
известного как анализ ассоциации)”. Этот тин анализа был создан для исследования содержимого корзин 
клиентов с целью увеличения продаж. Компьютерные программы с модулем анализа корзины работают 
наиболее эффективно, если переменные являются двоичными (данный товар присутствовал в корзинах 
покупателя или нет). Можно сформулировать множество научных задач, сама суть которых является двоичной, 
но в большинстве случаев описание явления включает числа, которые преобразуются в двоичную форму для 
применения анализа корзины [21-22]. Такое преобразование также может быть выполнено для переменной, 
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которая может принадлежать нескольким непересекающимся подмножествам. Затем два дихотомических 
подмножества (являющиеся суммами исходных подмножеств) создаются из первичных подмножеств. Тогда, 
если ао; принадлежит одному из них, то а1; равно 0, если другой равен 1. 

Измерения ошибок. До сих пор автором использовались общие термины, такие как «точность 
прогнозов», «правильность классификации», которые можно назвать качеством или эффективностью 
инструментов искусственного интеллекта. Однако, если проанализировать способы повышения качества их 
работы, то необходимо определить ошибки в результатах действия инструментов машинного обучения и итогах 
интеллектуального анализа данных. 

Ошибки прогноза. Инструменты машинного обучения в основном служат двум целям: для 
прогнозирования значений (регрессия) и для автоматической классификации. Использование одних и тех же 
общепринятых мер ошибок облегчает понимание работы, но также позволяет легче оценить ценность прогноза. 
Предполагается, что анализируется абсолютное значение ошибки. Следовательно, абсолютная ошибка 
(АЕ) [7, 18] может быть определена как 

АЕ = 6-В| (4) 
где Б — прогнозируемое значение; 

Ь — фактически наблюдаемое значение. 

Относительная ошибка, выраженная как абсолютная ошибка в процентах (АРЕ), определяется как 


АРЕ = = * 100% (5) 


Чтобы иметь возможность оценить качество прогнозов, сделанных с Помощью инструмента 
искусственного интеллекта (например, искусственной нейронной сети), некоторые данные не используются в 
процессе «обучения». После построения модели вводится этот набор данных, называемый проверочной 
выборкой, и машина делает прогнозы. Таким образом, прогнозируемые значения составляют дюжину, 
несколько ДЮЖИНн или больше. Затем для оценки качества прогнозов можно рассчитать среднюю абсолютную 





процентную ошибку (МАРЕ): 
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МАРЕ = (6) 


п 
где п — размер валидационной выборки. 

Наиболее распространенной мерой погрешности (проверочный тест) является среднеквадратичная 
ошибка (МЗЕ), определяемая как 

М$5Е = бо). (7) 

При решении задач регрессии большинство инструментов машинного обучения благодаря 
использованию эвристических алгоритмов ищет отображение ввода и вывода, которое минимизирует М$Е. При 
указании качества полученных прогнозов наиболее распространенными являются МЗЕ или МАРЕ (или оба). 
Следует отметить, что в случае МАРЕ не имеет значения, рассчитывается эта ошибка для стандартизованных 
или реальных значений — МАРЕ то же самое. В случае с МЗЕ дело обстоит иначе. Эта ошибка чаще всего 
имеет разные значения для стандартизированных прогнозов и для прогнозов, преобразованных в истинные 
значения (без стандартизации). Следовательно, необходимо указать, для каких значений МЪЕ были рассчитаны. 
Сравнение точности прогнозов (различных процессов, явлений с разными инструментами) на основе МЗЕ 
оправдано, если МЗЕ рассчитывается для стандартизованных значений. С другой стороны, с точки зрения 
практического применения важнее МАРЕ или максимальное значение АЕ. Полезность получаемых прогнозов 
также является важным вопросом [23]. Прогноз косвенных затрат на строительство со средней относительной 
погрешностью 6% можно считать очень точным и полезным прогнозом, но те же 6 % МАРЕ для прогнозов 
фондовой биржи делают их бесполезными [24]. Следовательно, размер ошибки, полученной в прогнозах, также 
следует оценивать с точки зрения полезности для лиц, принимающих решения, использующих прогнозы. 

Меры точности классификации. При использовании инструментов машинного обучения для 
автоматической классификации отнесение случая к неправильному классу можно оценить двумя способами. 
Во-первых, просто как ошибка. Однако одной информации о том, что инструмент правильно классифицирует 
90 % случаев, может оказаться недостаточно. Если есть несколько классов, которым назначены отдельные 
случаи (описанные в базе данных) (например, восемь), может случиться так, что для пяти классов 
классификация будет на 100 % правильной, а 10 % ошибок относятся к другим трем классам. Поэтому качество 
результатов классификации оценивается так называемой матрицей ошибок, пример которой представлен в 
таблице 1. 
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Таблица 1 
Результаты классификации тендерных процедур по валидационной выборке [25] 
Класс: Класс: 
.. Класс: сговор Всего: для всех 
свободный от | подозрение в В 
очень вероятныи классов 
сговора сговоре 
Численность в 
ь 52 14 4 70 
валидационной выборке 
Количество правильных 
т 50 10 3 63 
классификаций 
Количество неправильных 2 4 ] 7 
классификаций 
оля правильных 
д ы а 96,15 71,43 75,00 90,00 
классификаций, % 
оля неправильных 
д ы .. 3,85 28,57 25,00 10,00 
классификаций, % 























Значительные различия в точности классификации отдельных подмножеств могут способствовать 
дальнейшему поиску еще более точной модели классификации. Матрица ошибок также может содержать 
информацию, к какому неправильному классу была неправильно отнесена данная запись из выборки проверки. 
Это влияет на вывод, основанный на прогнозах. Проанализируем пример из таблицы 1 со следующими 
предположениями: 

— два неправильно классифицированных делопроизводства из класса «свободный от сговора», 
отнесенных автоматическим классификатором к классу «подозрение в сговоре»; 

— четыре неправильно классифицированных случая из класса «подозрение в сговоре» были отнесены 
автоматическим классификатором к классу «весьма вероятный сговор»; 

— один неправильно классифицированный случай из класса «очень вероятный» был отнесен 
автоматическим классификатором к классу «подозрения в сговоре». 

В результате анализа можно констатировать, что до тех пор, пока классификатор не отнесет данную 
процедуру к классу «свободный от сговора», можно быть уверенным, что это производство не связано со 
сговором. Все дела, отнесенные к этому классу, были правильно классифицированы автоматическим 
классификатором (несмотря на точность классификации менее 100 %). Этот эффект использовался, например, 
в [11]. Следовательно, стоит проанализировать, к каким классам автоматически был отнесен данный случай. 

Ошибкой классификации в медицинских приложениях является разделение ошибок только на два 
класса, где так же важно не вводить лекарства здоровому человеку, как и не отказывать в лечении 
действительно больному человеку (принимая его за здорового) (рис. 7). 





Класс присваивается классификатором 














Положительный Отрицательный 
Количество Количество 
Положительный положительных верных, | отрицательных неверных, 

определенных, как ТР определенных, как ЕМ 

Отсортированный класс Количество Количество 
Отрицательный положительных отрицательных верных, 
неверных, определенных, определенных, как ТМ 

как ЕМ 

















Рис. 7. Матрица ошибок классификации на два класса; серый фон указывает на правильную классификацию“ [26] 


1 РОЗ! З(аузбустпе Оргозгато\уаше ОБйстешо\е. СВТ: Вирз://раза.рИ?то4 Е=Фаепога (ассеззе4 10.07.2020). 
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Для п классифицированных случаев выполняется следующее равенство: 
п = ТР + ЕР +ТМ-+ЕМ (8) 


Для интерпретации матрицы ошибок в форме, представленной на рис. 7, используются понятия 


точности, прецизионности, чувствительности, специфичности, определяемые следующими уравнениями” [26]: 














ТР+ТМ 
точность = — (9) 
прецизионность = —^ (10) 
ВЕН — ТР+ЕР 
ТР 
чувствительность = (11) 
ТР+ЕМ 
специфичность = — (12) 
Ц — ЕР+ТМ 


Однако следует помнить, что указанные выше индикаторы применимы лишь в том случае, если 
инструмент классифицирует только два класса. 

Определение значимости обнаруженных ассоциативных правил. Благодаря использованию анализа 
корзины — одного из инструментов интеллектуального анализа — в данных обнаруживаются правила, которые 
можно записать как 

>В (13) 
где Ь — предшественник; й — преемник правила. 

Такое правило читается так: если был предшественник, то был и преемник. И предшественник, и 
последующий могут состоять из нескольких переменных, но наиболее часто ищутся правила, в которых 
предшественник описывается многими переменными, а последующий — одним (например, если давление 
упало утром, а температура в полдень превысила 30°С, потом днем была гроза). Такое правило (как в примере 
выше) не всегда работает. Следовательно, мерами качества обнаруженных правил являются не меры ошибок, а 
три параметра (пропорции) [6, 9], благодаря которым можно легко определить, что правило будет проверено в 
случае нарушения предшественника [3, 4, 6]: 

— поддержка — помечено как 5ир (от англ. зиррог); 

— уверенность — обозначается как сои/ (от англ. сопЯ4епсе); 

— увеличение — отмеченный как [11 (от англ. ПВ). 


Поддержка определяется следующим образом: 


вирь - В) = 7—2 (14) 


М 
где п(Ь = п) —Ш_ количество случаев, в которых возникновение предшественника сопровождалось появлением 


наследника; № — количество всех случаев в базе данных. 


С другой стороны, достоверность правила определяется следующим образом: 


сотр (Ь > В) = о (15) 


где п(Ь) —Й_ количество случаев, в которых было отмечено появление предшественника. 
Не менее важно приращение правила. Если его значение меньше 1, это означает, что найденное 


правило не объясняет появления наследника. Приращение определяется следующим образом: 


Ире > в) = тот о 


(16) 
где Р(®) — вероятность преемника (независимо от того, был ли предшественник или нет). 

Лучшему пониманию оценки качества обнаруженных ассоциативных правил будет способствовать 
пример, в котором в 12 процессах было сделано 10 наблюдений за возникновением предшественника и 
последующего (рис. 8). Для правила «если предшественник, то наследник» были рассчитаны поддержка, 


достоверность и приращение (для каждого из процессов), которые представлены в таблице 2. 


РОЗ! ЗцаузЕустпе Оргозгато\уаше ОБйстешо\е, там же. 
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№ № последовательного наблюдения 


о. 12314 56| 7 |8 [9 [0 


появление предшественника 


появление наследника 


появление предшественника 


2 
появление наследника 
З появление предшественника 
появление наследника 
4 появление предшественника 
появление наследника 
Но __ поноление олени Г _ 
появление предшественника 
5 
появление наследника 
появление предшественника 
6 
появление наследника 
появление предшественника 
7 
появление наследника 
появление предшественника 
8 — а 
поваление ныледиы | | | | | | 
появление предшественника 
9 
появление наследника 
появление предшественника 
10 
появление наследника 
а 
появление предшественника 
11 
появление наследника Г 
появление предшественника 
12 





Рис. 8. Наблюдения за появлением предшественника и преемника в 12 процессах 


Сравнивая процессы 5 и 6, следует отметить, что высокая степень достоверности правил не всегда 
важна. В процессеб преемник почти всегда присутствует, и обнаруженное правило не объясняет 
возникновение преемника (подъем<1). Это не относится к процессу 8. Приращение указывает на важность 
правила, в то время как его достоверность низкая. Тем не менее, каждое наблюдение за преемником 
сопровождается наблюдением за предшественником. В случае процесса 8, следовательно, стоит уточнить 
предшественник (например, добавив еще одну переменную). В этом случае, вероятно, другой параметр (пока не 
включенный в предшественник) влияет на наличие преемника (в процессе 8). 

Таблица 2 
Оценка правил с использованием 5ир, сопГи ИЯ для процессов на рис. 8 









































№ процесса | Поддержка (5ир) | Уверенность (Соп]) Увеличение ([1]) 
1 0,00 0,00 0,00 
2 0,10 0,25 0,63 
3 0,20 0,50 1,25 
4 0,20 0,67 1,67 
5 0,30 0,75 1,88 
6 0,30 0,75 0,94 
7 0,40 1,00 1,00 
8 0,20 0,25 1,25 
9 0,20 1,00 1,25 
10 0,30 0,75 0,83 
и 0,40 1,00 2,50 
12 0,20 0,50 2,50 
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Важные аспекты применения выбранных инструментов искусственного интеллекта и 
интеллектуального анализа данных к небольшим базам данных 

Количество записей в базе данных и сложность инструмента. В статистике чаще всего 
предполагается, что небольшой размер выборки составляет менее 30 случаев, однако можно обнаружить, что 
предельное число, за пределами которого мы не можем говорить о малой выборке, составляет 100 [27-28]. 
Инструментам искусственного интеллекта нужны полные наборы данных (входы и выходы), чтобы иметь 
возможность найти наиболее точный способ преобразования одного в другой. Чем сложнее проблема, тем 
больше требуется наборов данных (записей в базе данных). В глубоком обучении, когда инструмент 
преподается не с наборами чисел, а с файлами (графикой, аудио, текстом), необходимы тысячи наборов 
данных. В [29] более 4000 стандартизированных изображений использовалось для прогнозирования прочности 
на сжатие. В других исследованиях образцов было немного (например, в [11] всего 66). Есть указание на то, что 
для искусственных нейронных сетей количество связей между нейронами должно быть в 10 раз меньше, чем 
количество записей в базе данных [30]. Небольшие базы данных требуют большего количества 
вычислительных испытаний и более точной настройки используемых инструментов. Тем не менее, правило, что 
чем сложнее проблема и ее модель, тем больше наборов данных требуется для обучения инструмента, остается 
в силе. Использование сложных моделей (например, искусственных нейронных сетей с более чем одним 
скрытым слоем и множеством нейронов в скрытых слоях) в небольших базах данных чаще всего приводит к 
ошибкам (прогнозирования или классификации), намного большим, чем в моделях с меньшей сложностью 
самого инструмента. Отсюда популярность методов уменьшения количества независимых переменных, 
описанных в разделе 3. Когда количество наборов данных слишком мало, уменьшение количества независимых 
переменных чаще всего повышает точность прогнозов и классификации. 

Тип вывода и качество прогноза и классификации. В [30] можно найти предположение, что 
искусственные нейронные сети могут более точно определить, будет ли, например, предсказанное значение 
больше, чем значение, данное пользователем сети. Ссылаясь на требование полезности прогноза [23], если 
полученные прогнозы недостаточно точны (т. е. ошибки прогноза слишком велики), можно решить, требуется 
ли точное значение. Например, при прогнозировании прочности материала возможно вместо прогноза лишь 
сообщить, что прочность не будет ниже предполагаемой прочности, указанной пользователем. То же самое и с 
проблемой классификации. Автоматическая классификация стали на 9 марок на основе всего 66 записей в базе 
данных не позволила получить точность классификации выше 80% [11]. Затем один процесс классификации 
был заменен восьмым, в результате чего результаты испытаний стали были разделены на две дихотомические 


подгруппы, как показано на рис. 9. 


Этап1 Этап2 Этап3 Этап 4 Этап5 Этапб  Этап7 Этап 8 
За 1 За! 1 За/1 За! 1 За 1 За/1 За 1 За! 1 
За/2 За 2 За! 2 За 2 За! 2 За! 2 За 2 За! 2 
Заз Заз За! 3 Заз Заз За 3 Заз За 3 
За! 4 За 4 За 4 За! 4 За! 4 За! 4 Эа! 4 Эа! 4 
За! 5 За! 5 За! 5 За! 5 За! 5 За! 5 За! 5 За! 5 
За! 6 За! 6 За/6 За! 6 За/6 За! 6 За! 6 За! 6 
За7 За 7 За/7 Зат7 За 7 За 7 Эа 7 За! 7 
За 8 За 8 За 8 За8  5а8 $а/8 За! 8 За 8 
За 9 За 9 За!9 За9 За 9 За9 За 9 За! 9 


Дихотомические подмножества 
на каждом этапе 


Рис. 9. Восьмиэтапный процесс классификации на два дихотомических подмножества 
(на каждом этапе классификации) [11] 


Автоматическая классификация только двух подмножеств была проведена с помощью более простой 
модели (со сложностью, соответствующей количеству испытаний стали, т. е. 66). Использованный восемь раз 
процесс позволил повысить точность классификации с 80 до 95%. Из первоначально выбранных 
12 предикторов осталось только 6 [12]. Это позволило сделать прогноз с достаточно малой ошибкой, чтобы 
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модель была полезной. Компьютерные программы позволяют прогнозировать, например, две зависимые 
переменные одновременно, но по причинам, описанным выше, лучшие результаты (меньшие ошибки) 
получаются при прогнозировании двух зависимых переменных отдельно, с помощью двух моделей, хотя 
результаты получаются на одном и том же наборе данных. 

Модификация вывода. Рассмотрим случай, когда на начальном этапе расчетов не получаются 
достаточно точные прогнозы или классификации. В дополнение к действиям, связанным с данными и 
сложностью в инструменте машинного обучения, использованном выше, можно рассмотреть возможность 
поиска другой зависимой переменной, той, на основе которой можно будет вычислить строго зависимую 
переменную, которую необходимо найти. При небольшом количестве записей в базе данных это может 
упростить модель, что, в свою очередь, может повысить точность прогнозов. Этот эффект был использован 
в [31], где прогнозирование с помощью искусственной нейронной сети является лишь частью процесса 
проектирования состава смеси. Еще одна процедура, которая может уменьшить ошибки прогнозов, — это 
прогноз относительного значения (вместо абсолютного значения). При оптимизации работы модели в [12] 
прогнозируемая задержка, выраженная в днях, была заменена задержкой, выраженной как пропорция 
количества дней задержки к запланированному количеству дней строительства. В указанном случае это не 
уменьшило ошибок в прогнозах. Другая возможность изменить тип вывода (т. е. прогнозируемую зависимую 
переменную) — заменить одно число несколькими значениями функций принадлежности, рассчитанных на 
основе теории нечетких множеств [32]. В [17] вместо количества дней задержки построения на выходе из 
искусственной нейронной сети использовались три значения функции принадлежности множествам: низкая 
задержка, средняя задержка и большая задержка. После уточнения прогнозируемых значений оказалось, что 
ошибки прогноза были меньше, чем при прогнозировании количества дней задержки [12]. То же самое было 
предпринято в [33] путем прогнозирования значений функции принадлежности на первом этапе вычислений, и 
только на втором этапе на основе этих прогнозов случаи были разделены на три подмножества. Однако в этом 
случае прямое использование искусственной нейронной сети в качестве классификатора привело к повышению 
точности классификации. 

Гибридные инструменты. При небольшом количестве кейсов в базе данных используемый 
инструмент машинного обучения не может быть очень сложным, поскольку слишком мало кейсов для 
успешного обучения модели. Гибридные модели могут быть средством от слишком большой ошибки прогноза 
или слишком низкой точности классификации. Вместо одного сложного инструмента используются два более 
простых. В вышеупомянутом примере [17] применение теории нечетких множеств фактически добавляет к 
модели два элемента, которые можно правильно «настроить». Схема модели представлена на рис. 10. 
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Рис. 10. Три модуля нейронечеткой модели [17] 


Первый модуль — это преобразование точных чисел в значения трех функций принадлежности. 
Второй — настроить сеть для прогнозирования этих трех значений с наименьшей ошибкой, а третий — 
повысить точность полученных прогнозов до точных цифр. Операции в каждом из этих трех модулей могут 
выполняться по-разному, поэтому для моделирования зависимой переменной можно использовать три 
инструмента, а не только саму искусственную нейронную сеть. Есть много примеров, когда гибридные модели, 
то есть те, в которых более одного инструмента используются совместно, дают более точные прогнозы, чем 
модели с одним инструментом [34—35]. Поэтому при анализе результатов исследований стоит рассмотреть 
возможность использования инструментов машинного обучения вместе с другими математическими 
инструментами. 
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Извлечение проверочного подмножества. Для обучения искусственных нейронных сетей из 
существующей базы данных выделяются три подмножества, содержащие как независимые, так и зависимые 
переменные: обучение, тестирование и проверка. Обучающее подмножество используется для обучения 
инструмента. Этот процесс продолжается до тех пор, пока МФЕ не перестанет уменьшаться в тестовой выборке, 
затем процесс обучения сети останавливается. Дальнейшее обучение сети могло бы привести к лучшему 
согласованию инструмента с обучающими данными, но возможности обобщения были бы потеряны (ошибки 
М$Е для тестовой и проверочной выборки были бы намного выше) [30]. Такой эффект, называемый 
переобучением искусственной нейронной сети, схематично показан на рис. 12. 
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Рис. 12. Схематическое изображение переобучения искусственной нейронной сети 
и правильно обнаруженного тренда [30, 31] 


Подмножество валидации используется для оценки качества прогнозов или классификации. Эти 
наборы независимых переменных и зависимая переменная не видят сеть в процессе обучения. Поэтому 
прогнозы (или классификации) делаются для проверочного подмножества, и путем сравнения с известными 
зависимыми переменными могут быть вычислены ошибки, описанные в предыдущих разделах. Очень важно 
указать, к какому подмножеству относится вычисленная ошибка. Один из методов оценки того, не 


переоборудован ли инструмент, — это сравнение ошибок (чаще всего М$Е) для вышеупомянутых трех 
подмножеств, они должны быть на аналогичном уровне. Явно более низкая МЗЕ для обучающего 
подмножества может указывать на переобучение, а явно более высокая МЗЕ — на несовершенство 


инструмента. Явно более низкая МЗЕ для тестовой и проверочной выборки предполагает необходимость 
выбора других параметров искусственной нейронной сети или других зависимых переменных (или даже 
другого инструмента). 

Для больших баз данных подходит случайное разделение данных на три подмножества. В литературе 
встречаются предложения о том, что пропорции размера этих подмножеств должны быть в диапазоне 60:20:20-— 
70:15:15 (преподаватель: тест: проверка) [36-37]. Для небольших баз данных случайный выбор подходит 
только в тех случаях, когда различные диапазоны зависимой переменной (или класса для классификации) 
одинаково численно представлены. Чаще всего это условие не выполняется. Тогда было бы хорошо обеспечить 
такое сбалансированное представление во всех трех подмножествах. Такая контролируемая разбивка данных 
использовалась в [11,25]. ВПИ из 66 испытаний стали одна марка (5 испытаний) была наименее 
многочисленной, а марка с 12 испытаниями — самой многочисленной. При случайном выборе тестов для 
подмножеств могло случиться так, что в обучающую подгруппу не было включено ни одного теста какой-либо 
марки стали, что, несомненно, помешало бы его автоматическому распознаванию. В [25] из 
249 проанализированных дел только девять, по мнению авторов, следует отнести к категории «весьма 
вероятный сговор». После раздела набора данных на подмножества четыре из этих процедур были назначены 
обучающими, одна — тестовой и четыре — проверочными. Благодаря этой процедуре три из четырех процедур 
из набора для валидации могут быть правильно классифицированы. 

В польской и англоязычной литературе можно найти примеры того, что авторы используют только 
концепции обучающего набора данных, тестового набора данных. Вероятно, это происходит по двум причинам. 
Некоторые компьютерные программы полностью (без вмешательства пользователя) контролируют, не 
переоборудован ли инструмент. Затем извлекается только проверочный набор (либо путем указания его 
количества или процентной доли в общих данных, либо путем выбора записей, которые будут использоваться 
для проверки). В этом случае подмножество проверки часто называют подмножеством тестов. Вторая причина 
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заключается в том, что некоторые инструменты машинного обучения (например деревья классификации, 
деревья С&ВТ°) защищены от переобучения другим способом, нежели контроль МЗЕ для тестовой выборки. 
Качество этих инструментов можно проверить с помощью тестового подмножества (точно так же, как 
подмножество валидации — не участвуя в процессе обучения инструмента). Обычно уже при чтении работ по 
машинному обучению становится ясно, были выделены два или три подмножества данных, поэтому различная 
номенклатура набора, используемого для оценки качества работы, не является проблемой. 

Проверка качества модели. Базы данных с небольшим количеством записей, используемые для 
построения модели на основе машинного обучения, делают модель менее устойчивой (т. е. дают существенно 
разные ошибки) при замене записей между подмножествами (обучение, тестирование и проверка). Чтобы 
узнать, работает ли построенная модель хорошо только с определенным разделением данных на подмножества, 
ее следует запустить на рандомизированных подмножествах. Используя предложения по пропорции разделения 
данных, их можно поделить на 5—7 подмножеств, и процессов построения модели должно быть выполнено как 
можно больше, так что на каждой итерации будет происходить обучение. Такая проверка качества модели 
называется перекрестной проверкой (на английском языке наборы данных при перекрестной проверке 
называются «свертками»). Ошибки МЕ или МАРЕ затем усредняются. Если, однако, в каком-либо наборе 
данных ошибки значительно отклоняются от среднего значения, следует поискать причину этого. 

Независимо от размера базы данных оценку ошибок также следует рассматривать через призму 
полезности результатов. Прогнозы с относительно большими ошибками, явления, которые нельзя точно 
описать, могут быть очень полезными и считаться важными. С другой стороны, прогнозы с теми же МЕ или 
МАРЕ другого явления могут не дать какой-либо новой информации об изучаемом явлении. Поэтому, помимо 
числовых значений точности прогноза или точности классификации, важно ссылаться на само изучаемое 
явление. 

Также важно проверить, не была ли построена другая модель для ранее изученного явления. Если да, то 
ссылка на эти предыдущие исследования (относительно уровня полученных там ошибок) также подтвердит 
качество нового патентованного решения. Если такие модели ранее не создавались, можно проверить качество 
нового решения, сравнив результаты с гораздо более простой моделью (например, на основе Масгозой Ехсе| с 
надстройкой Зо]уег). 

Существует вопрос, на который пока нет четкого ответа: означает ли небольшое количество наборов 
данных, что полученные прогнозы, классификации и правила ассоциации неактуальны (именно из-за их 
небольшого количества)? Например, сложное и строгое правило со следующими индексами 5ир = 0,01, 
соп} = 1, ПЕЕ = 100 для базы данных с 10000 записями означает, что каждый раз, когда конкретный 
предшественник встречается 100 раз, указанный предшественник всегда (51с!) является последующим. То же 
правило для базы данных из 100 записей означает, что был только один уникальный случай, когда указанный 
предшественник имел место. Затем его сопровождал конкретный преемник. В одном случае нельзя говорить о 
правиле, но можно о случае (случайности). Однако, даже для небольшой базы данных (например, со 
100 записями) правило 100-процентной достоверности, поддерживаемое тремя случаями, может уже указывать 
на повторяемость (при условии, что приращение для этого правила больше единицы). 

Существуют небольшие базы данных обычно потому, что они малы сами по себе, потому что 
подготовка более крупных дорогостоящая, требует очень много времени, они к тому же могут быть следствием 
природы явления (например, ограниченное количество объектов, построенных одной и той же компанией). В 
реальности эти базы данных не могут быть расширены (в несколько раз или в несколько десятков раз). 
Изучение таких баз данных при соблюдении условий, описанных в этой главе, может привести к появлению 
новых, пока не обнаруженных зависимостей. Построенные, правильно функционирующие модели могут быть 
неприменимы напрямую к другим подобным явлениям, но они могут эффективно указывать на методы поиска 
общих взаимосвязей в случаях, когда количество наборов данных значительно больше. 

Уникальные правила ассоциации или неожиданные автоматические классификации также могут 
указывать на области, на которых следует сосредоточить дальнейшие исследования описываемых явлений. 

Заключение. Обсуждаемые в статье проблемы и вопросы, связанные с поиском взаимосвязей между 
многомерными входными и выходными данными, представлены в небольшом количестве случаев. Данная 
работа поэтому не может являться исчерпывающим обзором по теме. Объем статьи и ограниченный опыт 
автора в применении методов машинного обучения и интеллектуального анализа данных не позволяют описать 
большинство используемых методов. Проблемы при расчетах (в основном на небольших базах данных), 
содержащиеся в упомянутых в тексте работах, и их решения систематизированы таким образом, чтобы 
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соблюдалась последовательность действий: ОТ ПОДГОТОВКИ базы данных До расчетов, до обсуждения 
результатов. Невозможно четко указать, сколько записей в базе данных может свидетельствовать о «малой» 
или «большой» базе данных. Однако можно сказать, что для эффективного использования инструментов 
машинного обучения или интеллектуального анализа данных требуется как минимум несколько десятков 
записей. Применяя соответствующие процедуры (разработка входных данных, построение моделей), можно 
применять эти инструменты для успешного моделирования и изучения явлений, описанных всего в нескольких 
десятках случаев. На основе проведенных расчетов возможно сделать надежный ВЫВОД. 
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